Ceci est un résumé de notre base de données produit : rangeIndex correspond au nombre de produits disponibles Columns correspondra aux différentes informations qu'on va avoir pour chaque produit, et dType au format de l'information : Ici on aura principalement des informations quantitatives et des informations catégorielles

Dans le contexte de notre étude, nous allons principalement travaillé sur les valeurs nutritionnelles.

Sur cette base de données, j'ai décidé de garder uniquement les informations nutritionnelles dont nous manquons cette information sur plus de 90% de produits. Une exception a été faire pour la valeur fruits-vegetables-nuts_100g qui est une information importante pour le calcul du nutriscore

Ensuite, je vous propose cette matrice de corrélation entre les différentes valeurs restantes

On voit que certaines valeurs nutritionnelles sont corrélées, et donc on pourrait s'imaginer d'en garder qu'un seul. De même, certaines valeurs sont corrélées à 1, ce qui signifie que les deux valeurs se comportent exactement de la même façon. Dans le cadre de notre analyse, on va se concentrer particulièrement sur les données relatives au nutriscore FR. Selon le site : https://quoidansmonassiette.fr/comment-est-calcule-le-nutri-score-logo-nutritionnel/ , le nutriscore est calculé à partir des données suivantes :

• Energie : 'energy_100g'
• les acides gras saturés (g/100g) : 'saturated-fat_100g'
• les sucres simples (g/100g) : 'sugars_100g'
• le sel (mg/100g) : 'sodium_100g' ou 'salt_100g', mais on prendre le salt car il y a le pourcentage de remplissage de sel > que celui du sodiul
• les fibres (g/100g) : 'fiber_100g'
• les protéines (g/100g) : 'proteins_100g'
• les fruits et légumes : 'fruits-vegetables-nuts_100g'
• légumineuses et fruits à coque (g/100g) : 'fruits-vegetables-nuts_100g' Donc on réduira le tableau à ces principales données + 'nutrition-score-fr_100g'

Analyse univariée des différentes valeurs.¶

On va commencer par analyser les différentes valeurs que prend chaque valeurs nutritionnelles. Le but de cette exercice est surtout de pouvoir identifier rapidement les valeurs aberrantes qu'on décidera par la suite de supprimer.

On remarquera que nous allons avoir des valeurs d'énergie supérieures aux maximum connu dans la littérature (>3700kj), et des valeurs supérieures à 100g pour les différents nutriments sur un échantillon de 100g et on supprimera la ligne qui ont que des valeurs nulles. Cela nous donne un récap de notre dataframe comme le suivant :

Regardons maintenant la répartition des différents produits afin d'y voir des corrélation entre les différents variables

Imputation des valeurs manquantes¶

On imputera les énergies manquantes par la moyenne, car la différence de groupe est non significative

Ensuite, on utilisera la méthode Iterative Imputer pour compléter notre base de données. La méthode IterativeImputer est une technique d'imputation de données manquantes qui utilise un modèle prédictif pour estimer les valeurs manquantes

Ci dessous le tableau descriptif de la base de donnée remplie avec notre technique d'imputation (1er) et le deuxième représente la description de la base de données avant la complétion

On remarquera que cette méthode n'est clairement pas optimale, puisque des valeurs supérieures à 100 pour les sucres ou 40 pour le nutriscore ont été prédit. Mais en général, on va retrouver les mêmes moyennes globalement. Cela nous aidera uniquement à mieux comprendre .

Analyse en composantes principales (ACP)¶

L'Analyse en Composantes Principales (ACP) est une technique statistique largement utilisée pour transformer des données multidimensionnelles complexes en un ensemble de nouvelles variables, appelées "composantes principales" (F1,F2,F3...), qui capturent l'essentiel de la variabilité des données d'origine. L'objectif principal de l'ACP est de réduire la dimensionnalité des données tout en préservant autant d'informations que possible.

Pour commencer, on va d'abord remettre à l'échelle nos données. Cela permet de centrer les données autour de zéro et de leur donner une variance unitaire.

Notre tableau descriptif de notre base de donnée scalé. On remarquera que la moyenne de toutes les données est à 0 et l'écart type à 1

On instancie notre ACP et puis on l'entraine avec nos données scalés :

Intéressons nous maintenant à la variance captée par chaque nouvelle composante. La premi!ère composante (F1) capte 34% de la variance de nos données, La 2ème : 27% ... Cela signifie que la première composante explique 34% des informations qu'on a dans notre base de donnée initiale et ainsi de suite

On a l'habitude en exploration de données de sommer ces variances, car plus on avance dans les composantes, et plus, nous détenons des informations

On voit ici que près de 75% de la variance (ou de l'information de nos données) est comprise dans les 3 premières composantes, et près de 90% dans les 4 premières. On remarque aussi que les 7 premières composantes définissent automatiquement la dernière.

On va à présent voir comment ces nouvelles composantes sont "calculées" à partir de nos valeurs nutritionnelles initiales

Alors, comment calcule t-on la première composante F1 ? et bien c'est assez simple : F1 = (0.48 energy_100g) + (0.47 saturated-fat_100g) + ... + (0.51 * nutrition-score-fr_100g)

et F2 ?

F2 = (-0.18 energy_100g) + (-0.17 saturated-fat_100g) + ... + (-0,14* nutrition-score-fr_100g)

Et ainsi de suite

Cette heatmap permet de visualiser aussi très rapidement le poids de chaque valeur sur chaque composante

Maintenant, essayons de comprendre la corrélation entre ces différentes nouvelles composantes

Sur les graphes précédents, on pourra étudier la projection des différents produits sur ces nouvelles composantes, un code couleur a été ajouté pour voir comment le code nutriscore se comporte selon les différentes situations et si on arrive à ressortir des clusters. J'ai ausssi ajouté un 3ème graphe qui représente le code couleur telle que c'est actuellment traité pour voir si le clustering est respectée telle que c'est représenté aujourdhui.